iT邦幫忙

2025 iThome 鐵人賽

1
自我挑戰組

用 Dify 打造一個 AI 個人助理系列 第 26

Day 26:測試效能與回應速度

  • 分享至 

  • xImage
  •  

今天想看看我的 AI 助理在整合那麼多功能之後,回應速度會不會變慢、準確度會不會下降。算是一次「效能檢測日」。

我設計了三種不同類型的測試題,分別測「知識庫查詢」、「工具調用」和「多輪對話」。

  1. 知識庫查詢測試
    問它:「請根據我筆記解釋什麼是非對稱加密。」
    → 回覆時間約 2.8 秒。
    → 內容正確,語氣自然。
  2. 工具調用測試
    問:「幫我查一下今天台北的天氣,順便找一則關於 AI 醫療的最新新聞。」
    → 先呼叫 Weather API,再啟動 Web Search。
    → 全部完成花約 7 秒。
    → 回覆順暢,但中間明顯停頓約 1 秒。
  3. 多輪對話測試
    我連續問三題:「我今天有點累 → 那要不要幫我改明天的行程 → 明天早上幾點有課?」
    → 記憶功能表現正常,能接續前文。
    → 回覆時間介於 3~4 秒之間。

我觀察到整合知識庫和工具之後,AI 的回覆速度會稍慢,但仍在可接受範圍。若同時呼叫兩個以上的工具(像 API + 搜尋),平均回覆時間會多 2~3 秒。Prompt 越長、對話上下文越多,處理時間也會增加。

我學到Dify 在背景會同時處理記憶、RAG 檢索、工具請求,這是速度變慢的主要原因。如果要讓助理「看起來更流暢」,可以考慮先用簡短回覆、再補充細節(像兩段式回答)。效能測試最好的方式是「模擬實際使用」,而不是只看秒數。

心得
今天測試完我覺得我的助理雖然不是最快的,但它的穩定度和回答品質都很好。對我來說,比起秒數,我更重視它有沒有聽懂、能不能自然回覆。而現在的版本已經能在幾秒內完成查詢、整合資訊、保持語氣一致,這對一個「自建的多功能 AI 助理」來說,已經是很不錯的成績。


上一篇
Day 25:增加情緒陪伴對話模式
下一篇
Day 27:調整知識庫內容,改善精準度
系列文
用 Dify 打造一個 AI 個人助理30
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言